Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals
基于代理模型更新信号解耦的 LLM 后训练模块化范式
🧭 LLM 后训练 · 代理探索 · 信号解耦 ★ 深度解读
Shanghai AI Laboratory · Fudan University · Zhejiang University · Shanghai Innovation Institute · Shanghai Jiao Tong University
用轻量代理模型探索相对改进信号并解耦式传输，实现异步、可复用的跨模型后训练
📌 工作参考价值（4 点）
- 低成本探索与迁移：在推荐模型或 Agent 策略训练中，可利用小模型（如蒸馏版或轻量级网络）作代理，探索用户反馈/奖励信号，将相对改进信号迁移到大模型，大幅降低采样与评估成本。
- 异步信号缓存与复用：解耦后，代理探索的更新方向可独立存储为分布差异对，一次探索、多模型复用，适合多场景（电商搜索、广告推荐）快速对齐不同版本主模型，无需重复完整RL pipeline。
- 弱到强泛化迁移：相对改进信号不依赖代理绝对能力，弱代理探索的信号可有效提升强主模型，适用于利用用户行为日志训练小模型提取偏好、再迁移至大规模生成式推荐模型。
- 校准系数控制迁移强度：借鉴λ的锚点校准机制，在迁移时根据主模型当前状态动态调整信号强度，避免过更新，可在电商/广告的强化学习训练中实现更稳定的策略迭代。